Ja'afar bin Abi Thalib termasuk golongan awal memeluk Islam, sewaktu kecil dia dalam jagaan bapa saudaranya iaitu Al-Abbas, seperti juga saudaranya Ali bin Abi Talib berada dalam jagaan Nabi Muhammad, Ja'afar bin Abi Talib menikah dengan Asma bintu Umais.

Ketika seksaan terhadap umat Islam di kota Makkah semakin hebat, Ja'afar dan isterinya kemudian berhijrah ke negeri Habsyah.